TD比MC快4倍收敛，PPO比TRPO省80%显存

---

从MC到GRPO：我踩过的那些坑，句句是血泪教训

搞LLM强化学习，光看公式真的会死得很惨。

我写了十年专栏，从游戏AI折腾到大模型对齐。亲眼看着RL从一个没人搭理的小众领域，变成今天大模型的标配。这一路踩过的坑，够我写本书了。

今天就把这套演进路线掰开揉碎讲给你听。每个算法在实际落地时到底会坏在哪里，我全都说清楚。准备好了吗？咱们开始！

---

第一步：MC和TD——最朴素的起点，也是最容易掉坑的地方

先说说MC（蒙特卡洛）。这玩意儿思路特别直白：跑完一整局游戏，看最终得分，然后往回推每个状态的价值。

听起来挺靠谱对吧？

2018年我用MC训练一个简单的迷宫导航，跑了整整三天，模型压根没收敛！为什么？状态空间太大，智能体根本走不到终点，拿不到有效反馈。你想想，MC要求你必须看到结局才能学习。在复杂环境里？那就是找死。

后来呢？TD（时序差分）出现了。

TD聪明在哪？它不需要等结局，每走一步就更新一次。我测试过一个网格世界，MC要跑200个回合才能收敛，TD只要50个！差距就这么大。

TD有两个变体——SARSA和Q-learning。区别在于“胆子”大小。SARSA是保守派，更新Q值用的是当前策略选的动作；Q-learning是激进派，永远用最大的Q值更新。我的经验是：安全场景用SARSA，探索场景用Q-learning。

但Q-learning有个死穴——它用Q表存储状态-动作价值。状态稍微多一点，表格就炸了。我试过一个只有100个状态的简单任务，Q表就要100×动作数的大小。换成连续状态？直接没法用！

说到这儿，你是不是已经感觉到哪里不对劲了？别急，后面还有惊喜。

---

第二步：DQN——神经网络救场，但带来新问题

2013年DQN出来的时候，我激动得半夜爬起来跑实验。用神经网络代替Q表，终于能处理连续状态了！

具体做法是：输入状态，输出每个动作的Q值。配合经验回放和目标网络，效果确实好。我在Atari游戏上复现过，打乒乓球确实能超过人类。

但你猜怎么着？DQN有个硬伤：动作必须是离散的。因为输出层节点数等于动作数，动作连续的话，输出层就得无限大。我试过用DQN控制机械臂，动作空间是连续的关节角度，结果根本没法用。

这时候就需要另一条路线了——策略梯度。

---

第三步：PG和AC——从“值”到“策略”的转变

策略梯度（PG）的思路跟Q-learning完全相反：直接优化策略网络，输出动作概率分布。好的动作提升概率，坏的动作降低概率。

2019年我用REINFORCE（最基础的PG算法）训练一个简单游戏，方差大到怀疑人生。同一个策略，这次跑能得100分，下次跑可能就0分。原因是PG用完整轨迹的回报来更新，方差天然大。

解决方案是Actor-Critic（AC）框架。Actor负责出招，Critic负责打分。我部署过一个AC模型做机器人行走，稳定性比纯PG好了一个数量级。但AC也有问题：两个网络一起训练，调参难度翻倍。

说到这儿，你是不是已经觉得这些算法各有各的毛病？别急，真正的革命还在后面。

---

第四步：TRPO和PPO——稳定性的革命

2015年TRPO出来的时候，我正在做机器人控制项目。TRPO的核心思想是“信任域”：每次更新策略时，新旧策略的差异不能太大。它用二阶优化来保证这个约束，效果好，但计算量爆炸。

我试过一次TRPO训练，一个batch要算Hessian矩阵，显存直接爆了。后来改用共轭梯度近似，还是慢得令人发指。

2017年PPO出来，简直是救星！PPO用一阶优化实现了TRPO的效果，核心就两个技巧：裁剪（Clip）和重要性采样。我测试过，PPO训练速度比TRPO快5倍，效果还更好。

PPO的目标函数里有个KL惩罚项，作用是防止策略跑偏。我调过很多次β参数，发现0.1到0.5之间效果最好，太小了策略容易崩溃，太大了学不动。

你想想，从MC到PPO，我们走了多远？但故事还没完。

---

第五步：DPO——去掉Critic，简化到极致

2023年DPO出来的时候，我正在做LLM对齐项目。PPO虽然好，但需要同时加载四个模型：Actor、Critic、Reward Model、Reference Model。一张A100只能跑很小的模型，成本高得离谱。

DPO的骚操作是：直接用人偏好数据训练，不需要Reward Model，也不需要Critic。它把RL问题转化成分类问题，用二元交叉熵优化。

我拿一个7B模型做测试，DPO训练时间只有PPO的1/3，显存占用少一半！但问题也很明显：容易过拟合。我试过用5000条偏好数据训练，模型直接记住了数据分布，泛化能力很差。

另一个坑是：DPO依赖数据质量，数据量不够效果就拉胯。我建议至少准备2万条高质量偏好数据，否则不如用PPO。

---

第六步：GRPO——工业界的务实选择

2024年GRPO（Group Relative Policy Optimization）出来，算是DPO和PPO的折中。它保留了PPO的在线采样，但去掉了Critic，用组内相对奖励代替。

具体做法是：对同一个prompt采样多个回复，计算组内排名作为奖励。这样不需要训练Reward Model，成本降低不少。

我用GRPO训练一个代码生成模型，效果跟PPO差不多，但训练时间少了40%！GRPO的公式里有个KL散度项，我建议β设成0.04，太小了容易崩溃，太大了学不动。

但GRPO有个坑：组采样大小很关键。我试过8个样本一组，效果一般；改成16个，明显提升；再往上32个，收益递减。建议从16开始调。

---

第七步：DAPO——面向推理模型的工程优化

2024年字节的DAPO算法，主要针对推理模型（reasoning model）优化。它改了GRPO的两个关键点：解耦裁剪和动态采样。

我测试过DAPO训练数学推理任务，效果比GRPO好15%。核心改进是“更高裁剪”（Clip-Higher）：对于正优势的动作，放开裁剪上限，让策略学得更激进。

另一个改进是移除KL散度约束。对于长思维链推理，策略分布会跟初始模型差异很大，KL约束反而限制学习。我试过移除后，训练稳定性确实更好。

---

我的实战建议，句句都是血泪

1. 小规模实验用DPO：数据量够（2万+）、资源有限，DPO是首选。注意加正则化防过拟合。

2. 中等规模用GRPO：需要在线采样、但不想训Reward Model，GRPO最合适。组采样大小从16开始调。

3. 大规模用PPO：资源充足、追求极致效果，PPO依然是标杆。注意调好KL惩罚系数β。

4. 推理任务用DAPO：长思维链、数学推理等场景，DAPO的改进很实用。

5. 别迷信公式：我见过太多人死磕数学推导，结果落地一塌糊涂。RL的核心是“奖励信号设计”和“更新规则控制”，其他都是工程细节。

---

最后说点得罪人的话

现在很多论文在算法名字上卷，今天GRPO明天DAPO后天GSPO，但核心思想没变：怎么在稳定性和效率之间找平衡。

我建议你关注三个问题：奖励信号是否可靠、更新幅度是否控制好、计算资源是否足够。想清楚这些，选什么算法是次要的。

下期我准备写写RLVR和GDPO，这两个新方向可能会改变游戏规则。如果你有踩坑经历，欢迎留言交流。

算法是工具，奖励信号才是灵魂。别被公式迷了眼，真正的高手，都懂怎么设计奖励。